Relembrando

Vamos começar essa aula discutindo o Exercício 3 do HW 4 (se não fez, tente fazer)

Perceba que a hipótese alternativa (\(H_A\)) é de que o valor do QI será diferente da distribuição conhecida. Não se assume que ele será maior ou menor. Portanto, precisamos “apostar” nas duas caudas da distribuição.

Exercício 3

Perceba que \(\alpha\) e \(p\) são duas coisas diferentes.

\(\alpha\): quão extremo deverá ser um valor para eu rejeitar a \(H_0\) a favor de uma \(H_A\); definido antes das análises.

p-valor: quão extremo é o valor observado considerando que \(H_0\) seja verdadeira.

Boas práticas científicas

Hypothesize

After the

Results are

Known

HARKing é como chamamos a situação em que o cientista começa a brincar com os dados até achar um resultado significativo, fazendo hipóteses e testes que não estavam em sua hipótese inicial e reportando como se o achado fosse sua hipótese prévia.

O problema com o HARKing é que ele leva a conclusões que dificilmente são replicadas posteriormente, pois o experimento não foi feito para investigar aquela questão específica.

Boas práticas científicas

Fazer HARKing é como desenhar um alvo depois de ter atirado o dardo: você dificilmente vai conseguir acertar aquele alvo novamente.

Boas práticas científicas

Infelizmente o HARKing é uma prática comum, e muitos cientistas não veem problemas em conduzir suas análises dessa maneira.

Se você algum dia quiser conduzir análises que não estavam previstas no seu desenho experimental, chame-as pelo nome: análise post-hoc.

Os achados de análises post-hoc devem ser vistos com cautela.

Resumindo

• Quando fazemos um teste de hipótese, estamos nos perguntando se temos evidências para rejeitarmos a Hipótese Nula (\(H_0\)).

• Para isso, calculamos a probabilidade de um determinado valor ocorrer em um distribuição.

• O z-score é uma maneira de calcular essa probabilidade a partir da Distribuição Normal Padrão.

• Precisamos pensar nas nossas análises antes de realizarmos nossas coletas ou desenharmos nossos experimentos.

Conteúdo do dia

• Caps 5 e 6
• Amostragem
• Distribuição amostral da média
• Teste de hipótese com uma amostra

Amostra e população

Quando fazemos um estudo, temos que pensar na nossa POPULAÇÃO e na nossa AMOSTRA.

Geralmente selecionamos uma AMOSTRA representativa da população para poder generalizar os nossos dados.

• Eu quero saber as intenções de votos da população brasileira. Como posso investigar?

• Eu quero saber se os brasileiros estão deixando de fazer concordância nominal de número. Como posso investigar?

• Eu quero saber se quem aprende inglês com video-games chega ao mesmo nível de proficiência de quem faz curso específico. Como investigar?

• Eu quero saber se o processamento de uma palavra é influenciado por sua probabilidade de ocorrência em um contexto. Como investigar?

Amostra e população

Em todos os casos, não tenho como coletar os dados da minha população. Por isso, seleciono uma amostra representativa.

Se eu não consigo uma amostra representativa e seleciono uma amostra de conveniência, preciso ter cuidado ao generalizar os meus dados e ter consciência de qual população estou represtando ali.

Amostra e população

Fonte: Slate http://www.slate.com/articles/health_and_science/science/2013/05/weird_psychology_social_science_researchers_rely_too_much_on_western_college.html

Amostra e população

No geral, analisamos as estatísticas de uma amostra para estimar os parâmetros de uma população.

Até agora, aprendemos a descrever amostras (ou populações) com o que chamamos estatística descritiva.

Usar as estatísticas de uma amostra para estimar os parâmetros de uma população é uma das maneiras de fazer inferência estatística.

Estudo de caso

Hinton (2014)

Uma cidade é afetada pelo vazamento de um componente químico. Um médico acha que isso tem afetado o nascimento de bebês da cidade, fazendo com que eles nasçam menores.

Como testar a hipótese? Como você escreveria essa hipótese em termos de hipótese nula e hipótese alternativa?

Estudo de caso

Teste: comparar uma amostra do peso ou altura de bebês afetados com a população de bebês que nascem nos Estados Unidos.

\(H_0\): a distribuição do peso de bebês afetados pertence a distribuição de peso dos bebês nascidos nos EUA

\(H_A\): a distribuição do peso de bebês afetados tem valores menores que a distribuição de peso dos bebês nascidos nos EUA

Estudo de caso

Vamos dar uma olhada na população.

N = 3.954.875 nascimentos

\(\mu\) = 3.2kg

\(\sigma\) = 0.9.

Estudo de caso

Vamos dar uma olhada na amostra.

\(n\) = 100

\(\bar{X}\) = 3.0kg

s = ? (*Hinton não dá essa informação, eu inventei uma só para poder gerar o histograma)

Estudo de caso

• Que informação dos dois conjuntos (população e amostra) eu posso comparar para investigar a questão?

• R: A média.

• É possível comparar a média da amostra e a média da população?

• R: Não podemos fazer essa comparação diretamente, pois é possível que, por acaso, eu tenha selecionado 100 bebês que calharam de ser menores.

• Solução –> posso mudar minha pergunta e me questionar o seguinte: se eu selecionar amostras aleatórias de 100 bebês da minha população, quão provável seria ter uma amostra com média igual a 3.0kg?

D.A.M.

Eu posso selecionar várias amostras de uma população e fazer um histograma que mostre a distribuição dessas médias.

Podemos fazer isso no site http://onlinestatbook.com/stat_sim/sampling_dist/index.html

ATENÇÃO: o site contém imagens fortes de matemágica

D.A.M.

• No site que sugerimos, clique em “Begin”
• Brinque com as simulações desenhando diferentes distribuições

• Que tipo de distribuição é a distribuição amostral das médias?
• R: Normal (independente da distribuição da população!)

• O que acontece quando aumentamos o \(n\) da nossa amostra?
• R: O \(\sigma_\bar{X}\) diminui (\(\sigma_\bar{X}\) = desvio padrão da d.a.m.). Isso significa que quanto maior meu \(n\), menor o intervalo de distribuição das minhas médias amostrais.

• Qual a relação entre \(\sigma\) e \(\sigma_\bar{X}\)?
• \[\begin{align} \sigma_\bar{X}=\frac{\sigma}{\sqrt{n}} && (podem conferir no site indicado) \end{align}\]

Estudo de caso 1

• Voltemos à nossa pergunta: quão provável seria ter uma amostra com média igual a 3.0kg?

• Como investigar?

• R: Ver a probabilidade acumulada do valor 3.0kg na D.A.M. da população, considerando que essa distribuição foi feita a partir de amostras cujo \(n\) = 100

• \[ z =\frac{\bar{X}-\mu_\bar{X}}{\sigma_\bar{X}} =\frac{\bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}} =\frac{3-3.2}{\frac{0.9}{\sqrt{100}}} =\frac{-0.2}{0.09} = -2.22 \]

Estudo de caso 1

Voltemos à nossa pergunta: quão provável seria ter uma amostra com média igual a 3.0kg?

Como investigar? R: Ver a probabilidade acumulada do valor 3.0kg na D.A.M. da população, considerando que essa distribuição foi feita a partir de amostras cujo \(n\) = 100

\[ z =\frac{\bar{X}-\mu_\bar{X}}{\sigma_\bar{X}} =\frac{\bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}} =\frac{3-3.2}{\frac{0.9}{\sqrt{100}}} =\frac{-0.2}{0.09} = -2.22 \]

pnorm(-2.22, lower.tail = T)

## [1] 0.01320938

Considerando \(\alpha\) = 0.05, podemos rejeitar a \(H_0\)

Estudo de caso 2

Uma empresa ensaca cafés afirmando que cada saco tem 500g. A empresa também informa que o maquinário que produz o conteúdo deve retornar esse valor com \(\sigma\) = 25g.

Uma amostra de 30 pacotes é analisada pelo controle de qualidade, e a média de peso dessa amostra é de 513g. O gerente de produção quer testar se a máquina tem produzido pacotes com um peso maior que o esperado.

Assumindo um \(\alpha\) = 0.05, é possível afirmar que a amostra recolhida indica que o maquinário está produzindo pacotes com média superior ao valor pretendido?

Estudo de caso 2

Que populações e amostras temos?

1. tenho uma amostra de uma população desconhecida, com \(\bar{X}\) = 513g e \(n\)=30.
2. tenho uma população conhecida com a qual posso comparar essa amostra: a distribuição dos valores de gramas por pacote de café, com \(\mu\) = 500g e \(\sigma\) = 25g.

• Próximo passo: construir minhas hipóteses e definir se é possível rejeitar \(H_0\) com \(\alpha\) = 0.05.

• \(H_0\): A amostra vem da distribuição conhecida; \(\mu\) = \(\bar{X}\).

• \(H_A\): A amostra vem de uma distribuição com valores maiores que os da distribuição conhecida; \(\mu\) < \(\bar{X}\).

Estudo de caso 2

\[ z =\frac{\bar{X}-\mu_\bar{X}}{\sigma_\bar{X}} =\frac{\bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}} =\frac{513-500}{\frac{25}{\sqrt{30}}} =\frac{13}{1.82} = 2.84 \]

pnorm(2.84, lower.tail = F)

## [1] 0.002255677

Conclusão 1: parece pouco provável que a média da amostra tenha vindo dos valores extremos da upper tail da distribuição amostral das médias da população.

Conclusão 2: rejeitamos a hipótese nula (considerando \(\alpha\) = 0.05).

Estudo de caso 3

Uma escola investiu numa nova técnica de ensino de redação de forma experimental. Durante um ano, uma turma de 30 alunos selecionados aleatoriamente dentre os alunos do terceiro ano tiveram aulas com essa nova técnica.

Ao fim do ano, a média dessa turma na prova de redação do ENEM foi de 698. A média do restante dos alunos foi 650, com desvio-padrão de 25.

Considerando um alfa de 0.05, pode-se rejeitar a \(H_0\)?

Lembre-se: \[ z = \frac{\bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}} \]

Estudo de caso 3

\(H_0\): \(\mu\) = \(\bar{X}\)

\(H_A\): \(\mu\) < \(\bar{X}\)

media.populacao = 650
media.amostra = 698
sd.populacao = 25
n.amostra = 30

z = (media.amostra-media.populacao)/(sd.populacao/sqrt(n.amostra))
z

## [1] 10.51627

pnorm(z, lower.tail = F)

## [1] 3.634616e-26

Rejeito \(H_0\) com \(\alpha\) = 0.05

Resumindo

• Há situações em que eu tenho uma população e uma amostra, e me questiono se aquela amostra pode ter vindo daquela população.

• Assumo a \(H_0\) de que a média da amostra vem da distribuição das médias amostrais da população.

• Analiso, com o z-score, se é possível rejeitar a \(H_0\) de acordo com meu \(\alpha\).

• O importante aqui é notar que, mais uma vez, estamos calculando probabilidades, ainda que tenhamos dado um passo além ao calcular a probabilida de ocorrência da média de uma amostra em meio à distribuição amostral das médias, e não apenas a probablidade de ocorrência de um valor qualquer da amostra

Analisando uma amostra

• Com frequência não temos uma população com a qual podemos comparar uma amostra, mas tentamos inferir se a amostra que temos é igual a um parâmetro estipulado.

1. Como descobrir se uma máquina está ensacando um produto com o peso anunciado na embalagem?
2. Como saber se um tipo de veículo produz a média aceitável de poluentes por km rodado, e não um valor superior a ele?
3. Como saber se uma nova droga para controle de pressão não está fazendo com que a pressão dos pacientes não ultrapasse um certo valor considerado crítico?

• Para todas essas questões, coletamos uma amostra e analisamos se os valores da população da qual essa amostra foi tirada corresponde ao valor crítico médio determinado.

Teste-t

• O teste-t é o tipo de teste que fazemos quando queremos fazer um teste de hipóteses envolvendo uma ou duas amostras.

• Em vez de usar o desvio-padrão da população, \(\sigma\) usa-se o desvio-padrão da amostra, \(s\). Isso nos dará uma estatística t em vez de uma estatística z. Vejamos:

• \[\begin{align} z = \frac{\bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}} && t = \frac{\bar{X}-\mu}{\frac{s}{\sqrt{n}}} \end{align}\]

• No caso do R, a fórmula sd() já retorna, na verdade, o \(s\) de um vetor. Ou seja, já estávamos considerando o desvio-padrão amostral.

• Confira isso usando o help do R com o comando ?sd

Teste-t

• Não se preocupe com o cálculo do \(s\). Apenas lembre que ele é feito com base em degrees of freedom (df), ou graus de liberdade, que correspondem a n-1. Entenderemos a relevância de degrees of freedom em outro momento.

• O teste-t assume uma distribuição t, que varia de acordo com seu grau de liberdade - que, por sua vez, é influenciado em grande parte pelo \(n\).

• Como vimos, quanto maior o \(n\), menos “espalhada” é a distribuição.

• 

Teste-t

• O tamanho da amostra coloca algumas questões interessantes. Por exemplo, qual é a probabilidade acumulada de t = -2?

• 

• Tente calcular com a função pt(-2), do mesmo jeito que usamos a função pnorm().

Teste-t

pnorm(-2)

## [1] 0.02275013

pt(-2)

## Error in pt(-2): argument "df" is missing, with no default

Teste-t

pt(-2, df = 2)

## [1] 0.09175171

pt(-2, df = 6)

## [1] 0.04621316

pt(-2, df = 30)

## [1] 0.02731252

pt(-2, df = 100)

## [1] 0.02410609

Teste-t

Teste-t

• Graus de liberdade são um parâmetro que deve ser informados para o cálculo de uma estatística t (do teste T de Student).

• A origem do teste t tem a ver com um químico - William Gosset - tentando descobrir quantas amostras eram necessárias para avaliar a qualidade de um lote de cerveja Guiness

• 

Teste-t: estudo de caso

Até pela sua origem, o teste-t é um teste muito associado a controle de qualidade. Considere a seguinte situação:

Um gerente de produção quer ter certeza de que sua fábrica tem produzido pacotes com 500g de café. Para isso, ele anota o peso de uma amostra de 15 pacotes.

Ele quer saber o seguinte: se minha população tem média igual a 500 (a população de pacotes de café que eu quero produzir), qual a probabilidade de eu selecionar uma amostra como a que tenho abaixo? Como minha distribuição é normal, posso me perguntar: quão extrema na cauda inferior ou superior seria a média da minha amostra na distribuição amostral das médias de uma população de média igual a 500?

cafe = c(501, 506, 499, 490, 491, 493, 490, 497, 498, 488, 515, 494, 497, 504, 504)
mean(cafe)

## [1] 497.8

Teste-t: estudo de caso

\[ t = \frac{\bar{X}-\mu}{\frac{s}{\sqrt{n}}} \]

Vamos anotar os valores:

media.amostra = mean(cafe) #média da amostra
media.padrao = 500 #média pretendida
s = sd(cafe) #desvio-padrão amostral (s)
n = length(cafe) #número de observações da amostra

Teste-t: estudo de caso

\[ t = \frac{\bar{X}-\mu}{\frac{s}{\sqrt{n}}} \]

t = (media.amostra-media.padrao)/(s/sqrt(n))
t

## [1] -1.160731

pt(t, df = n-1, lower.tail = F) #Probabilidade acumulada na upper-tail

## [1] 0.8674191

pt(t, df = n-1, lower.tail = T) #Probabilidade acumulada na lower-tail 

## [1] 0.1325809

Teste-t: estudo de caso

Há um jeito mais fácil de fazer um teste-t com uma amostra no R

t.test(cafe, mu=500, alternative = "greater") #Ha: média da amostra é maior que 500

## 
##  One Sample t-test
## 
## data:  cafe
## t = -1.1607, df = 14, p-value = 0.8674
## alternative hypothesis: true mean is greater than 500
## 95 percent confidence interval:
##  494.4617      Inf
## sample estimates:
## mean of x 
##     497.8

Dado que \(H_0\) seja verdadeira, a probabilidade de tirar um valor tão ou mais extremo na cauda superior é 0.86.

Teste-t: estudo de caso

Há um jeito mais fácil de fazer um teste-t com uma amostra no R

t.test(cafe, mu=500, alternative = "less") #Ha: média da amostra é menor que 500

## 
##  One Sample t-test
## 
## data:  cafe
## t = -1.1607, df = 14, p-value = 0.1326
## alternative hypothesis: true mean is less than 500
## 95 percent confidence interval:
##      -Inf 501.1383
## sample estimates:
## mean of x 
##     497.8

Dado que \(H_0\) seja verdadeira, a probabilidade de tirar um valor tão ou mais extremo na cauda inferior é 0.13.

Teste-t: estudo de caso

Vamos relembrar a questão: o gerente quer saber se a média da amostra é igual ou diferente de 500

\(H_0\) = a média da amostra é igual a 500g

\(H_A\) = a média da amostra é diferente de 500g (maior OU menor)

t.test(cafe, mu=500, alternative = "two.sided")

## 
##  One Sample t-test
## 
## data:  cafe
## t = -1.1607, df = 14, p-value = 0.2652
## alternative hypothesis: true mean is not equal to 500
## 95 percent confidence interval:
##  493.7349 501.8651
## sample estimates:
## mean of x 
##     497.8

Teste-t: resumindo

A função t.test() realiza um teste-t considerando \(\alpha\) = 0.05.

O cálculo do p-valor considerando esse \(\alpha\) dependerá da \(H_A\) especificada.

O teste retorna também os intervalos de confiança para a \(H_A\) especificada.

Você verá que se o seu teste der um p<0.05, o valor especificado em mu estará fora do intervalo de confiança.

Lembre-se: você NÃO DEVE fazer testes considerando todas as \(H_A\), mas sim definir qual é sua \(H_A\) ANTES do teste

Teste-t: praticando

Uma escola está pensando se deve investir em uma nova técnica de ensino de redação. Durante um ano, uma turma de 30 alunos selecionados aleatoriamente dentre os alunos do terceiro ano tiveram aulas com essa nova técnica. Abaixo você tem o vetor com as notas desses alunos. A distribuição das notas é normal.

notas = c(739, 720, 701, 702, 701, 724, 674, 658, 713, 659, 715, 675, 701, 707, 700, 661, 728, 700, 742, 699, 660, 659, 690, 685, 719, 713, 701, 660, 676, 753)

Ao fim do ano, a média dos alunos da escola que não fizeram parte da turma especial foi 650.

Considerando um alfa de 0.05, calcule se é possível rejeitar a \(H_0\) considerando que:

\(H_0\): \(\bar{X}\) = \(\mu\)

\(H_A\): \(\bar{X}\) > \(\mu\)

Teste-t: praticando

t.test(notas, mu=650, alternative = "greater")

## 
##  One Sample t-test
## 
## data:  notas
## t = 9.7959, df = 29, p-value = 5.258e-11
## alternative hypothesis: true mean is greater than 650
## 95 percent confidence interval:
##  689.5365      Inf
## sample estimates:
## mean of x 
##  697.8333

O grupo que fez aulas com a nova técnica teve um desempenho na prova significativamente maior que o restante da escola (t(29) = 9.79, p < 0.0001)

Teste-t: praticando

Exemplo de Hinton 2004

Um supermercado faz uma promoção para aumentar a média de compra de itens, que era de 25. Coleta-se uma amostra do número de itens comprados por 50 clientes que foram selecionados aleatoriamente. O vetor com esses valores encontra-se abaixo:

shoppingdata = c(30, 44, 19, 32, 25, 30, 16, 41, 28, 45, 28, 20, 18, 31, 15, 32, 40, 42, 29, 35, 34, 22, 30, 27, 36, 26, 38, 30, 33, 24, 15, 48, 31, 27, 37, 45, 12, 29, 33, 23, 20, 32, 28, 26, 38, 40, 28, 32, 34, 22)

Considerando \(\alpha\) = 0.05, avalie se a propaganda surtiu o efeito desejado pelo supermercado.

Teste-t: praticando

t.test(shoppingdata, mu=25, alternative = "greater")

## 
##  One Sample t-test
## 
## data:  shoppingdata
## t = 4.1941, df = 49, p-value = 5.724e-05
## alternative hypothesis: true mean is greater than 25
## 95 percent confidence interval:
##  28.0013     Inf
## sample estimates:
## mean of x 
##        30

• Pode-se dizer que a propaganda aumentou o número de itens comprados pelos clientes em comparação a uma média de 25 itens (t(29) = 4.1941, p < 0.0001)

Teste-t: assumptions

• A distribuição dos dados é normal

• As medidas são independentes (cada “fonte” (aluno, pacote de café, cliente etc.) contribui com apenas UM valor para a amostra)

• Há homogeneidade de variância nos dados (não foram selecionados os pacotes mais pesados, ou os melhores alunos da escola, os clientes mais assíduos etc)

• Trata-se de uma variável numérica contínua*

• *Dados de contagem (como o do supermercado) não são variáveis contínuas. Geralmente NÃO é recomendado usar um teste-t para dados de contagem, porque a distribuição desses dados dificilmente tem uma distribuição normal. Para esse casos, há outras modelos de análise mais adequados. Algumas considerações sobre as limitações que advem de considerarmos dados de contagem como uma variável contínua podem ser achadas nesse post: https://www.theanalysisfactor.com/count-data-considered-continuous/

Comandos gerais

Digitar ? na frente do nome de uma função ou pacote abre o help do R, com informações sobre essa função ou pacote

?sd
?mean
?dplyr

Comandos para teste-t

Para calcular a probabilidade de um t, usamos pt.

A função t.test() realiza um teste-t.

pt(t, df, lower.tail =) #retorna a probabilidade acumulada para um valor de t, considerando os graus de liberdade (df) e se é a partir da lower.tail ou não

t.test(dados, mu=X, alternative =) #retorna se a média de dados é diferente de X de acordo com a diferença definida em alternative ("two.sided", "less" ou "greater")